Ooit helemaal omwald door slotgrachten, gaat het kasteel van Taviet terug tot de 14de eeuw. Oorspronkelijk ging het om een donjon, waarvan nog enkele overblijfselen resten zoals kijk- en schietgaten.
De eerste gekende eigenaar van het kasteel was Jean de Taviers in 1319. In 1522 komt het in handen van John de Huyet. Tot de vroege achttiende eeuw blijft de familie de Huyet eigenaar, na die periode erft de familie Rougrave het kasteel. Het kasteel van Taviet, opgetrokken in baksteen op een kalkstenen fundering in een groot heuvelachtig park, werd in het laatste kwart van de negentiende eeuw (1882-1900) volledig herbouwd door Baron d’Huart die het een romantisch uitzicht gaf. Omstreeks 1960 voerde architect Bonaert nieuwe werken uit, die het gebouw klassieker doen ogen. Vandaag is het eigendom van de familie Le Hardy de Baulieu.